模型不可知的元学习算法旨在从几个观察到的任务中推断出先验,然后可以使用这些任务来适应新任务,但很少有示例。鉴于在现有基准中产生的任务的固有多样性,最近的方法使用单独的可学习结构,例如层次结构或图形,以实现对先验的特定任务适应。尽管这些方法产生了明显更好的元学习者,但我们的目标是在异质任务分配包含具有挑战性的分布变化和语义差异时提高其性能。为此,我们介绍了CAML(对比知识增强的元学习),这是一种新颖的方法,用于知识增强的几次学习,它演变了知识图以有效地编码历史经验,并采用了对比性的蒸馏策略,以利用编码的知识来为基础学习者的任务感知调制。使用标准基准测试,我们在不同的几次学习方案中评估CAML的性能。除了标准的少量任务适应外,我们还考虑了我们的经验研究中更具挑战性的多域任务适应和少数数据集泛化设置。我们的结果表明,CAML始终胜过最知名的方法,并实现了改善的概括。
translated by 谷歌翻译